Stable Diffusion 模型微调与部署实战 · 课程目录

01 Stable Diffusion 前世今生

扩散模型→潜在扩散，UNet·CLIP·VAE，模型生态与社区资源

02环境搭建与基础操作

GPU选型·虚拟环境·Diffusers库·Pipeline文生图

03提示词工程

结构·权重语法·常用模板·社区网站

04ControlNet 原理与使用

零卷积·Canny/深度图·多ControlNet组合

05LoRA 微调原理

低秩适配·UNet插入位置·与DreamBooth区别·权重合并

06LoRA 微调实战 (上)

数据集准备·预处理·训练参数配置

07LoRA 微调实战 (下)

训练脚本·损失监控·模型导出与推理

08DreamBooth 微调

先验保留损失·少量图片·训练配置

09Textual Inversion

嵌入向量·Tokenizer扩展·自定义Embedding

10微调技巧与调优

学习率调度·数据增强·混合精度·梯度累积

11模型评估与对比

FID·CLIP Score·A/B Test·方法对比

12模型转换与优化

ONNX·TensorRT·FP16/INT8量化·剪枝蒸馏

13WebUI 部署

SD WebUI安装·自定义模型/LoRA·扩展插件

14ComfyUI 部署

节点式工作流·自定义节点·导出分享

15API 服务部署

FastAPI推理·请求队列·Docker容器化

16云端部署 (AWS/GCP)

GPU实例·S3/EFS·自动扩缩容

17边缘端部署

ONNX Runtime移动端·NCNN/TNN·轻量化

18安全与合规

NSFW过滤·水印版权·使用许可

19高级应用

Inpainting·超分辨率·AnimateDiff视频生成

20自定义 Pipeline 开发

继承Diffusers Pipeline·预处理/后处理·Hub注册

21多 GPU 分布式训练

DataParallel·DeepSpeed ZeRO·FSDP分片

22数据引擎构建

爬取清洗·自动打标(BLIP/CLIP)·DVC版本管理

23模型版本管理

Hugging Face Hub·Model Card·对比回滚

24CI/CD 流水线

GitHub Actions·自动训练·测试部署

25监控与日志

推理延迟·模型漂移·ELK日志收集

26成本优化

Spot实例·缓存策略·按需/批量推理

27社区与生态

Civitai·Hugging Face·Discord/GitHub

28未来趋势

Sora视频·3D生成(Zero123)·多模态融合

29综合项目实战 (一)

需求分析·数据处理·微调评估

30综合项目实战 (二)

部署上线·性能优化·复盘总结